Повышаем производительность 


фай I/O в JVM na Li 7 
айлового I/O в JVM на Linux > / 


Дмитрий Бундин e 
m 


++ аш 
High! сас++ Р ; 
(HL) Весна 2021 E 


Senior Big Data developer 


O cnukepe 
Дмитрии Бундин 
Дмитрий в ИТс 2014 года. В последние несколько лет 
активно занимается разработкой І/О интенсивных 
приложений на Java, C/Linux и связанными C ними 
М вопросами производительности. До зтого разрабатьвал 
банковский софт и платформу обработки данных Ha Spark 


B сфере рекламы. Имеет опыт работы co Scala, 


функциональным программированием и typelevel-crekow. 
В настоящее время является старшим Big Data- 


разработчиком в Grid Dynamics. 
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Проект в сфере рекламы 


Сырые данные 


e Grid Dynamics Privileged and confidential 


Проект в сфере рекламы 


Локальный диск 
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Проект в сфере рекламы: выключение инстанса 


HTTP Server ——— — —» Локальный диск 


Permanent instance | 


Система доставки 


Внешние хранилища 
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Permanent vs Preemptible: стоимость 


В Permanent 64 vcores В Preemtible 64 vcores 


$4.0000 
$3.0000 
Ф 
Е 
> 
= 52.0000 
О 
IL 
$1.0000 
50.0000 


ССР AWS AZURE 
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Снижение затрат на инфраструктуру 


— — 
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HTTP Server —— — — —» Локальный диск 


| 


Проект в сфере рекламы: выключение инстанса 
Y 
Сигнал на выключение Система доставки 
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Проект в сфере рекламы: выключение инстанса 


HTTP Server —— — — —» Локальный диск 


| 


Сигнал на выключение Система доставки 


Текущие данные (до 1 ТБ) 


Внешние хранилища 
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Проект в сфере рекламы: выключение инстанса 


HTTP Server —— — — —» Локальный диск 


| 


Сигнал на выключение Система доставки 


Потеря данных X 


Внешние хранилища 


Qe Grid Dynamics Privileged and confidential 


Задачи проекта 


Доставка данных “сервис” > “внешние хранилища” 


Уменьшить Оптимизировать 
вероятности потери доставку 
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& Grid Dynamics 


Уменьшение вероятности mil 


потери данных 


101101114 
0101111000011111101 
1010101101111010111101 
110100(00Ж011011011110 
101010 01110010 
101010194 0101100101 
01010111 011011110 
1 


611910101 


ОТЕ 01111 


019019810120: 
611011114 
10101010112. 
1100101 
0575000011110: 


Стриминг данных напрямую 


HTTP Server 


Внешнее хранилище 
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Стриминг данных напрямую 


Требуется доработка 


HTTP Server 


Внешнее хранилище 
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Стриминг данных с локальных дисков 


Локальный диск Система доставки 
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Стриминг данных с локальных дисков 


E С 


истема доставки 


Локальный диск 


Не меняется Разработка с нуля 
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#2 Стриминг данных: сравнение 


Стриминг данных напрямую Стриминг данных с дисков 
+ Гибкость 
- Допиливание HTTP Server --Дөнияивание-НҒҒР-сеұүуек- 


- Вероятность потери сохраняется --Верөятнееғь-нөғери-өхраняетея- 
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Схема системы стриминга 


Локальный диск -------- 


IEEEEM-— 


e Grid Dynamics Privileged and confidential 


Система стриминга 


& Grid Dynamics 


Оптимизация доставки © 
данных 


Схема системы стриминга 


Локальный диск 


Внешние хранилища Mass EE 


e Grid Dynamics 
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Система стриминга 


Получен ие новых данных 


| 


Обработка 


| 


Отправка 


Схема системы стриминга 


Система стриминга 


Мониторинг 


Локальный диск Получение новых данных 
———————Є—Є{]{үД 
Чтение 


Обработка 


Внешние хранилища зд Отправка 
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Схема системы стриминга 


Система стриминга 


Локальный диск Получение новых данных 


Шифрование Компрессия 


Обработка 


Внешние хранилища зе Отправка 
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Схема системы стриминга 


Система стриминга 


Локальный диск Получение новых данных 


| 


Обработка 


Отправка 
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Система стриминга: Файловое 1/0 
Мониторинг 


Локальный диск 


Чтение 
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Получение новых данных 


Система стриминга: Файловое 1/0 
ө Определение изменившихся файлов 
e Определение предыдущей позиции стриминга 


ө Чтение новых данных 
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| 


Система стриминга: Файловое 1/0 
ө Определение изменившихся файлов 
ө Определение предыдущей позиции стриминга 


ө Чтение новых данных 
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Поллинг 


e Grid Dynamics 


Файл 


Файл 


Privileged and confidential 


Поллинг 


Недостатки: 


= Poll c фиксированным интервалом 
* Затраты CPU на неизменившиеся файлы 
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Файл 


Файл 


Получение уведомлений 0/5 


Файл Файл Файл 
O/S 
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package java.nio.file; 


public interface WatchService { 


WatchKey poll(long timeout, TimeUnit unit) 


Получение уведомлений O/S: JDK java.nio.file 
) 
Y 


public interface WatchKey | 
List<WatchEvent<?>> pollEvents(); 
} 


public interface WatchEvent<T> { 
T context() ; 
} 
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Изменившиеся файлы | 


JDK java.nio.file: схема использования 
| WatchKey 
Y 


WatchService 


9) 5 
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Получение уведомлений 0/5: JDK java.nio.file 


Недостатки: 
Файл Файл Файл 
Скудное множество доступных звентов NuU < 
OS 
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JDK java.nio.file: доступные события 
package java.nio.file; 

public final class StandardWatchEventKinds { 

public static final WatchEvent.Kind-Path- 

^N 


Р public static final WatchEvent.Kind-Path- 


public static final WatchEvent.Kind-Path- 
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ENTRY CREATE 


ENTRY_DELETE 


ENTRY_MODIFY 


public static final WatchEvent.Kind<Object> OVERFLOW 


package java.nio.file; 
public final class StandardWatchEventKinds { 
public static final WatchEvent.Kind-Path- ENTRY CREATE 


JDK java.nio.file: доступные события 
к 


public static final WatchEvent.Kind-Path- | ENTRY DELETE 


public static final WatchEvent.Kind-Path- | ENTRY MODIFY 


public static final WatchEvent.Kind-Object- OVERFLOW 
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JDK java.nio.file: доступные события 
package java.nio.file; 
public final class StandardWatchEventKinds { 
public static final WatchEvent.Kind<Path> ENTRY CREATE 
^N 


Р public static final WatchEvent.Kind-Path- | ENTRY DELETE 


public static final WatchEvent.Kind<Path> | ENTRY MODIFY 


public static final WatchEvent.Kind-Object- OVERFLOW 
} 
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Получение уведомлений 0/5: JDK java.nio.file 


Недостатки: 
Файл Файл Файл 


Скудное множество доступных эвентов NuU < 
Игнорируется информация о перемещении 


OS 
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Файлі — > Фаил2 


гепате 


ENTRY DELETE ENTRY CREATE 


| | 


JDK java.nio.file: переименование файла 
Y 
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JDK java.nio.file: переименование файла 


LinuxWatchService.c * 


JNIEXPORT jintArray JNICALL 
Java. sun. nio. fs LinuxWatchService eventOffsets(...) 


1 
jint arr[5]; 
arr[0] = (jint)offsetof(struct inotify event, wd); 
arr[1] = (jint)offsetof(struct inotify event, mask); 
arr[2] = (jint)offsetof(struct inotify event, cookie); 
arr[3] = (jint)offsetof(struct inotify event, len); 
arr[4] = (jint)offsetof(struct inotify event, name); 

} 


* https://hg.openjdk.java.net/jdk/jdk12/file/06222165c35f/src/java.base/linux/native/libnio/fs/LinuxWatchService.c£54 С. 
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package sun.nio.fs; 


private static class Poller extends AbstractPoller { 


public 
public 
public 
public 
public 
public 


e Grid Dynamics 


static 
static 
static 
static 
static 
static 


final 
final 
final 
final 
final 
final 


int SIZEOF INOTIFY EVENT 


int! | offsets 


int 
int 
int 
int 


OFFSETOF_WD 
OFFSETOF_MASK 
OFFSETOF_LEN 
OFFSETOF_NAME 


JDK java.nio.file: переименование файла 
Y 


Privileged and confidential 


= eventOffsets(); 


eventSize(); 


offsets[0]; 
offsets[1]; 
offsets[3]; 
offsets|4]; 


Получение уведомлений 0/5: JDK java.nio.file 


Подмножество Недоступны 
событий 0/5 перемещения 


Не подходит при необходимости 
использования всех звентов 0/5 
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#include <sys/inotify.h> 


struct inotify_event { 
int wd; 
uint32. t mask; 
uint32 t cookie; 
uint32 t len; 
char пате | |; 


Получение уведомлений 0/5: inotify/Linux 
Y 


int inotify_init(void); 
int inotify_add_watch(int fd, const char *pathname, uint32_t mask); 


int inotify_rm_watch(int fd, int wd); 
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#include <sys/inotify.h> 


struct inotify_event { 
int wd; 
uint32_t mask; 
uint32_t cookie; 


Получение уведомлений 0/5: inotify/Linux 
Y 


uint32_t len; 
char пате | |; 


int inotify init(void); 
int inotify add watch(int fd, const char *pathname, uint32 t mask); 


int inotify rm watch(int fd, int wd); 
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Получение уведомлений 0/5: inotify/Linux 


#include <sys/inotify.h> 


struct inotify_event { 
int wd; 
uint32. t mask; 
uint32 t cookie; 
uint32 t len; 
char пате | |; 


inotify. init(void); 
inotify add watch(int fd, const char *pathname, 
inotify. rm watch(int fd, int ма); 


uint32. t mask); 
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inotify.h * 


#define ІМ ACCESS 0x00000001 
#define IN. MODIFY 0x00000002 
#define IN ATTRIB 0x00000004 
#define ІМ CLOSE WRITE 0x00000008 
#define IN. CLOSE. NOWRITE 0x00000010 
#define IN OPEN 0x00000020 


inotify/ Linux: доступные события 
Y 


#define IN. MOVED. FROM 0x00000040 
#define ІМ MOVED. TO 0x00000080 
#define IN. CREATE 0x00000100 
#define ІМ DELETE 0x00000200 
#define ІМ DELETE. SELF 0x00000400 
#define IN MOVE SELF 0x00000800 


* https://elixir.bootlin.com/linux/v5.3/source/include/uapi/linux/inotify.h#L29 
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inotify/ Linux: доступные события 


inotify.h * 
#define ІМ ACCESS 0x00000001 
#define ІМ MODIFY 0x00000002 
#define ІМ ATTRIB 0x00000004 


#define ІМ CLOSE WRITE 0x00000008 
#define IN. CLOSE. NOWRITE 0x00000010 


#define IN OPEN 0x00000020 
#define ІМ MOVED. FROM 0x00000040 
#define IN. MOVED. TO 0x00000080 
#define ІМ CREATE ППТ ИЕ 
#define ІМ DELETE 0х00000200 
#define ІМ DELETE. SELF 0x00000400 
#define IN MOVE SELF 0x00000800 


* https://elixir.bootlin.com/linux/v5.3/source/include/uapi/linux/inotify.h#L29 
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45 


Получение уведомлений 0/5: inotify/Linux 


Преимущества: 
. М Файл Файл Файл 
Полный набор событий OS Linux 


Недостатки: anu 


He кросс-платформенно / He POSIX OS 
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Стандарт POSIX: описание 
Документация РОУХ*: 


POSIX.1-2017 defines а standard operating system interface and environment, Ї...) 
including utility conventions and C-language header definitions |... 


Linux 


inotify 


* https://pubs.opengroup.org/onlinepubs/96999 1 9799/ 
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Получение уведомлений 0/5: inotify/Linux 


Преимущества: 


. М | Файл Файл Файл 
" Полный набор событий OS Linux 


Недостатки: anu 


He кросс-платформенно / He POSIX OS 


Взаимодействие с нативным кодом 
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ө 17-85500 KbL 


Определение изменившихся файлов: перфоманс 
e Linux Kernel 5.3.0 
Y 


| 
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Потребление СРО: модификации 1 раз в секунду 
6.00% 


4.00% 
2.00% 
0.00% 


1000 4000 10000 


Количество изменившихся файлов 


В poll 


I inotify 


%CPU 
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Потребление СРО: модификации 10 раз в секунду 


25.00% 
20.00% 


Ш poll 


М inotify 


15.00% 


%СРУ 


10.00% 


5.00% 


0.00% 
1000 4000 


Количество изменившихся файлов 
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Определение изменившихся файлов: резюме 


ө Поллинг e JDK WatchService 


+ Простота + Портируемость 


+ Только нужные файлы 


- Негибкость - Не все события 


- Ресурсоемкость 


e Grid Dynamics Privileged and confidential 


e inotify 


+ Доступны все события 


+ Только нужные файлы 


- He POSIX 


- Нативный код 


Система стриминга: файловое 1/0 


Мониторинг 
-«— inotify 


Локальный диск Получение новых данных 


Чтение 
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| 


Система стриминга: Файловое 1/0 


ө Определение изменившихся файлов ^ 


e Определение предыдущей позиции стриминга 


ө Чтение новых данных 
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Определение предыдущей позиции стриминга 


Идентификация фаила 


e Grid Dynamics Privileged and confidential 


/var/log 


Идентификация файла: абсолютный путь 
filel.log 
Y 


| 


file2.log 
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/var/log 


Идентификация файла: абсолютный путь 
filel.log ———  IN_MOVED_TO — 
У 


| гепате 


file2.log IN. MOVED FROM — 
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Идентификация файла: хэш первых п байт 
У 


/var/log/file.log 
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Идентификация файла: хэш первых п байт 


/var/log 


filel.log 
| гепате > одинаковый контент 


file2.log 
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Идентификация файла: POSIX file serial number 


Документация POSIX": 


3.176 File Serial Number 


A per-file system unique identifier for a file. 


$ https://pubs.opengroup.org/onlinepubs/9699919799/basedefs/V1 chap03.htm 
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Идентификация файла: POSIX file serial number 


Документация POSIX": 


The <sys/stat.h> header shall define the structure of the data returned by the 
functions fstat(), [stat(), and stat(). 


struct stat { 


ino t st ino; 


i https://pubs.opengroup.org/onlinepubs/009695399/basedefs/sys/stat.h.htm 
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POSIX file serial number: JDK java.nio.file 


package java.nio.file; 
public final class Files { 


public static Object getAttributes(Path path, String attribute, 
LinkOption... options) 
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JDK java.nio.file: пример 


Long inodeNumber - (Long) Files.getAttributes(path, 


"unix:ino"); 
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POSIX file serial number: JDK java.nio.file 
UnixNativeDispatcher.c: * 


JNIEXPORT void JNICALL 
Java. sun. nio fs UnixNativeDispatcher stat0(...)(| 


RESTARTABLE( stat64 (path, &buf), err) 


Ы ћрѕ://һа.орепјак.јауа.пеі/јак/іак12/1е/06222165с35#/ѕгс/јауа.раѕе/ипіх/пайуе/!ібпіо/#5/0ОпіхМайуеріѕраїсһег.с#498 
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Недостатки: 
Привязка к POSIX 
Используется путь к файлу 


POSIX file serial number: JDK java.nio.file 
Y 


| 
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JDK java.nio.file: Race Condition 


Файл 2 Файл 1 
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JDK java.nio.file: Race Condition 


Файл 2 Файл 1 


| 


Path, unix:ino 
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JDK java.nio.file: Race Condition 
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JDK java.nio.file: Race Condition 


Файл 2 


| 


Path, open 
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JDK java.nio.file: Race Condition 


Файл 2 
inode — Файл 1 X 


открыт — Файл 2 
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Идентификация файла: Race-Free way 


22? 


| | 


inode read 
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POSIX file serial number: POSIX fstat 
Документация POSIX": 

#include <sys/stat.h> 

int stat(const char *pathname, ...); 


int fstat(int fd, ...); 


Б https://pubs.opengroup.org/onlinepubs/009695399/functions/fstat.html 
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Идентификация файла: Race-Free way 


Файловый дескриптор 


| | 


fstat read 
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Идентификация файла: Race-Free way 


Файловый дескриптор 222 


fstat read 
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Приватное поле: 


package java.io; 


public final class FileDescriptor { 
private int fd; 


Е POSIX fstat: файловый дескриптор 
Y 
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POSIX fstat: файловый дескриптор 


Реализация в опе-піо: 


package one.nio.os; 


public final class Mem { 
private static final Field fdField - ... 


public static int getFd(FileDescriptor fd) { 
try { 


return fdField.getInt( fd); 
} саїс IllegalAccessException е) 1 
) 
) 
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Ё 


POSIX fstat: файловый дескриптор 


Нативный метод: 


раскаде сот.сотрапу; 


public class PosixUtils { 


public static native int openRO(String path); 
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POSIX fstat: файловый дескриптор 


Реализация: 


JNIEXPORT void JNICALL 
Java. сот company. PosixUtils openRO(...)í| 


const char *native path = (*env)-»GetStringUTFChars(... 


int fd = open(native path, 0 RDONLY) ; 
(*env)->ReleaseStringUTFChars(...); 
return fd; 


e Grid Dynamics 
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POSIX file serial number: POSIX fstat 


Преимущества: 
Отсутствие Race Condition 


Недостатки: 
Требует файловый дескриптор 
Отсутствует в JDK 
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ө горячий dentry cache 


ө горячий раре сасһе 


Идентификация файла: перфоманс 
У 


| 
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Идентификация файла: перфоманс 
#include <x86intrin.h> 
unsigned long long . rdtsc(void); 
#include <immintrin.h> 


void _mm_clflush(void const ХА); 
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Идентификация файла: перфоманс 


#include <x86intrin.h> 


Чтение Core Time-Stamp Counter 


unsigned long long . rdtsc(void); 
#include <immintrin.h> 


void _mm_clflush(void const ХА); 
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Time-Stamp Counter 
Intel System Programming Manual/17.17: 


the time-stamp counter increments at a constant rate]... 


The invariant TSC will run at a constant rate in all ACPI P-, C-. and T-states. 


e Grid Dynamics Privileged and confidential 


#include <x86intrin.h> 
unsigned long long . rdtsc(void); 


include <immintrin.h> 


Сброс L1/L2/LLC/... no адресу A 


Идентификация файла: перфоманс 
N 


void mm clflush(void const *A); 
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Перфоманс: stat vs fstat 


2000 
S 1500 
с 
25 
O 
Q 
Q 
2 1000 
S 
2 
Ф 
= 500 
| 

0 


stat 
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Privileged and confidential 


40% 


fstat 


Перфоманс: stat vs fstat 


0,28% bin [kernel.kallsyms] [К] user path at empty 
- 42,48% user path at empty 
- 30,219; filename lookup Обход каждого из компонентов пути 
- 28,39% path Lookupat 
- 20,55% Link path walk.part.33 
+ 9,64% inode permission 
+ 7,29% walk component 
+ 2,49% complete walk 
+ 2,39% walk component 
+ 1,72% path init 
+ 0,97% putname 
+ 11,96% getname flags 
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Перфоманс: stat vs open fstat 


4000 
Гей 0 
5 3000 110% 
с 
> 
O 
Q 
Q 
Е 2000 
© 
2 
Ф 
= 1000 
| 

0 


stat 
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open fstat 


Перфоманс: pread vs open fstat, чистый кэш 


10000 
9 17500 120% 
5 
O 
Q 
= 5000 
S 
С) 
а 
Е 2500 
| 

0 


pread 8KB open fstat 
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Идентификация файла: резюме 


ө Абсолютный путь 


+ Доступен в inotify 


- Не идентифицирует 


e Grid Dynamics 


e Хэш первых n байт 


+ Портируемость 


- Не идентифицирует 


- Перфоманс 
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e Inode number 


+ Уникален на FS 


+ Перфоманс 


- Часть РОЗІХ АР! 


Идентификация файла: резюме 


e JDK Files.getAttribute 


+ Часть JDK 


- Race Condition при 
использовании пути к файлу 


e Grid Dynamics 


e POSIX fstat 


+ Не подвержен Race Condition 


- Требует файловый дескриптор 


- Недоступен B JDK 
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Система стриминга: Файловое 1/0 


Мониторинг 


«——  inotify 


Локальный диск *"— fstat Получение новых данных 


Чтение 
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Система стриминга: Файловое 1/0 
ө Определение изменившихся файлов ^ 


e Определение предыдущей позиции стриминга ^ 


e Чтение новых данных 
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| 


Чтение новых данных 


Пропускная способность 
Использование on-heap bytel] 


— СИР no JDK11 
— ССР Connector 
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Чтение новых данных 


Zero-copy file FileChannel.read 
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java.io.InputStream 


| 


Чтение новых данных 


2его-сору Ше 
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Схема АРІ: 
package java.nio.channels; 
public abstract class FileChannel { 


public abstract long transferTo(long position, long count, 
WritableByteChannel target) 


Чтение новых данных: Zero-copy file 
N 
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Чтение новых данных: 2его-сору Ще 
FileChannellmpl.c: * 


JNIEXPORT void JNICALL 
Java. sun. nio. сп FileChannelImpl transferTo0(...) 


1 


#if defined(  1іпих  ) 
jlong n = sendfile64(dstFD, srcFD, &offset, (size t)count); 


* http://ng.openjdk.java.net/jdk/jdk12/file/06222165c35f/src/java.base/unix/native/libnio/ch/FileChannellmpl.c#1124 С 


e Grid Dynamics Privileged and confidential 97 


| 


Чтение новых данных 


FileChannel.read 


e Grid Dynamics Privileged and confidential 


й 


Чтение новых данных: FileChannel.read 
Схема АРІ: 


package java.nio.channels; 
public abstract class FileChannel { 


public abstract int read(ByteBuffer dst, 
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long position) 


Чтение новых данных: FileChannel.read 


FileDispatcherlmpl.c: * 


JNIEXPORT void JNICALL 
Java. sun. nio. ch FileDispatcherImpl pread0(...) 


1 
jint fd - fdval(env, fdo); 
void *buf = (void *)jlong. to ptr(address); 


return convertReturnVal(env, pread64(fd, buf, len, offset), 


} 


* http://hg.openjdk.java.net/jdk/jdk12/file/06222165c35f/src/java.base/unix/native/libnio/ch/FileDispatcherlmpl.c£188 


e Grid Dynamics Privileged and confidential 


100 


Чтение новых данных: FileChannel.read 
IOUtil.java: * 

package sun.nio.ch; 

public class IOUtil 1 


static int read(ByteBuffer dst, ...)( 
if(dst instanceOf DirectBuffer) 


return readIntoNativeBuffer(...); 


ByteBuffer bb; 


bb = Util.getTemporaryDirectBuffer(...); 


int n = readIntoNativeBuffer(bb, ...); 


} 


Б http://hg.openjdk.java.net/jdk/jdk12/file/06222165c35f/src/java.base/share/classes/sun/nio/ch/lOUtil. java#l226; часть нерелевантного кода опущена 
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Чтение новых данных: FileChannel.read 
IOUtil.java: * 
package sun.nio.ch; 
public class IOUtil 1 
static int read(ByteBuffer dst, ...){ 


if(dst instanceOf DirectBuffer ) 
return readIntoNativeBuffer(...); 


ByteBuffer bb; 
bb = Util.getTemporaryDirectBuffer(... 


int n = readIntoNativeBuffer(bb, 


} 


* http://hg.openjdk.java.net/jdk/jdk12/file/06222165c35f/src/java.base/share/classes/sun/nio/ch/lOUtil.java#l226 
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| 


Чтение новых данных 


java.io.InputStream 
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Чтение новых данных: java.io.InputStream 
Схема АР!: 


package java.io; 


public abstract class InputStream implements Closeable { 
public int read(byte| | dst, int off,int len) 
} 
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Чтение новых данных: java.io.InputStream 
іо util.c: * 


jint readBytes(jint len, ...) 
{ 
char stackBuf|[BUF_SIZE |: 
char *buf = NULL; 


if (len == 0) { 
return 8; 
Fels of Gen + WE ене | 
buf = malloc(len); 
} else 14 


buf = stackBuf ; 


IO. read(buf, ...) 


* https://hg.openjdk.java.net/jdk/jdk12/file/06222165c35f/src/java.base/share/native/libjava/io util.c 
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С, 
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e Zero-copy file e FileChannel.read e InputStream 


+ Her иѕегѕрасе-копии + Перфоманс B offheap + Читает B bytel] 


Чтение новых данных: резюме 
Y 


A - Передача без - Копирование опһеар - Копирование опһеар 


архивации 
р Ц - Аллокация в С-Неар 
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Чтение новых данных: резюме 


e Grid Dynamics 


e ??? 


+ Читает в bytel] 
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Критическая секция JNI 


void * GetPrimitiveArrayCritical(jarray buf, 
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5.5 
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Критическая секция JNI 
void * GetPrimitiveArrayCritical(jarray buf, ...); 


void ReleasePrimitiveArrayCritical(jarray buf, void * carray, 
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Критическая секция JNI: HotSpot VM 
jni.cpp: * 


іпі GetPrimitiveArrayCritical(...) { 


оор а = lock gc. ог pin object(...); 


і; https://hg.openjdk.java.net/jdk/jdk12/file/06222165c35f/src/hotspot/share/prims/jni.cpp£l3174 
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Критическая секция JNI: HotSpot VM 
jni.cpp: * 


static оор lock. gc. or pin object(JavaThread* thread, jobject obj) { 
if(Universe::heap()-»supports. object. pinning())( 
const оор о = JNIHandles::resolve. non null(obj); 
return Universe::heap()-»pin object(thread, о); 
} else { 
GCLocker: :lock_critical( thread) ; 


т https://hg.openjdk.java.net/jdk/jdk12/file/06222165c35f/src/hotspot/share/prims/jni.cpp£l3155 С 
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Критическая секция JNI: HotSpot VM 


supports. object pinning 


Serial NO 

CMS NO 

G1 NO 

Parallel Scavenge NO 
Shenandoah YES 

Z NO 
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Критическая секция )МІ: нативный )ама метод 


расКаде сот.сотрапу; 


public class PosixUtils { 


public static native int read(int fd, byte buf|!); 


e Grid Dynamics Privileged and confidential 


113 


Критическая секция JNI: реализация 


JNIEXPORT void JNICALL 
Java. сот company. PosixUtils read(JNIEnv *env, jclass jc, 


jint fd, jbyteArray buf) { 
size t sz - (size t) (*env)-»GetArrayLength(env, buf); 


void *buf ptr = (*env)-»GetPrimitiveArrayCritical(env, buf, NULL); 
ssize t bytesRead - read(fd, buf ptr, sz); 
(*env)-»ReleasePrimitiveArrayCritical(env, buf, buf ptr, 8); 
return (jint) bytesRead; 
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Критическая секция JNI: реализация 


JNIEXPORT void JNICALL 
Java. сот company. PosixUtils read(JNIEnv *env, jclass jc, 
jint fd, jbyteArray buf) { 

size t sz = (size t) (*env)-»GetArrayLength(env, buf); 
void *buf ptr = (*env)-»GetPrimitiveArrayCritical(env, buf, NULL); 
ssize t bytesRead - read(fd, buf ptr, sz); 
(*env)->ReleasePrimitiveArrayCritical(env, buf, buf ptr, 8); 
return (jint) bytesRead; 


с. 
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Критическая секция ] М: перфоманс 


ө горячий раде сасһе 
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Критическая секция ] М: перфоманс 


ө горячий раде сасһе 


e Grid Dynamics 


2 GB 
4 GB 
6 GB 
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InputStream  criticalRead 


0.36 sec 0.27 sec 
0.59 sec 0.47 sec 
0.95 sec 0.72 sec 


* 


20-25 % 


Система стриминга: Файловое 1/0 


Мониторинг 
-- inotify 
Локальный диск -— fstat 
— — A JNICritical 


Чтение 


Qe Grid Dynamics Privileged and confidential 


Получение новых данных 
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Система стриминга: файловое 1/0 


ө Определение изменившихся файлов 


ө Определение предыдущей позиции стриминга ^ 


e Чтение новых данных ^ 
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Критическая секция JNI: анализ 


$ sudo perf record --call-graph dwarf -F 9123 -p «app. pid» 
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Критическая секция JNI: анализ 


$ sudo perf record --call-graph dwarf -F 9123 -p «app. pid» 


java [kernel.kallsyms] [К] copy user. enhanced fast string 
68,36% Ox7f50ec3e4519 
Java com test PosixUtils read 
read (inlined) 
2261  libc read (inlined) 
entry SYSCALL 64 after hwframe 
do syscall 64 
X64 sys read 
ksys read 
vfs read 
__vfs_read 
new_sync_read 
ext4 file read iter 
generic file read iter 
- copy page to iter 
68,02% copy user enhanced fast string 
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Критическая секция JNI: анализ 


$ sudo perf record --call-graph dwarf -F 9123 -p «app. pid» 


java [kernel.kallsyms] [К] copy user enhanced fast string 
68,36% Ox7f50ec3e4519 
Java com test PosixUtils read 
read (inlined) 
2261  libc read (inlined) 
entry SYSCALL 64 after hwframe 
do syscall 64 
X64 sys read 
ksys read 
vfs read 
. .Vfs read 
new sync read 
ext4 file read iter 
generic file read iter 
- copy page to iter 
68,02% copy user enhanced fast string 


e Grid Dynamics 


Копирование памяти в ядре 
copy_user_64.S: * 


ENTRY ( сору user. enhanced. fast string) 


movl %edx, %ecx 


1: rep 
гер ы 


xorl %еах, %еах 
ASM. CLAC 
ret 


* https://elixir.bootlin.com/linux/v5.3/source/arch/x86/lib/copy user 64.S£L200 
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Копирование памяти в ядре 
ө Почему не используется AVX? 
e Будетли AVX эффективнее гер movsb? 


ө Если AVX быстрее, то можно ли его использовать? 
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Копирование памяти в ядре 
e Почему He используется AVX? 
e Будет ли AVX эффективнее гер movsb? 


ө Если AVX быстрее, то можно ли его использовать? 
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e Grid Dynamics 


Копирование памяти в ядре: SysV ABI 


Спецификация AMD64 SysV ABI: * 


Б https://github.com/hjl-tools/x86-psABI/wiki/X86-psABI 


5 Grid Dynamics 
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System Call: сохранение и восстановление состояния 
calling.h: * 


.macro PUSH. AND CLEAR. REGS ... .macro POP_REGS ... 
pushq %rsi popq %rsi 


* https://elixir.bootlin.com/linux/latest/source/arch/x86/entry/calling.h 
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System Call: сохранение и восстановление состояния 
calling.h: * 


.macro PUSH. AND. CLEAR. REGS ... .macro POP_REGS ... 
pushq %rsi popq %rdi 
pushq %rdi popq %rsi 


* https://elixir.bootlin.com/linux/latest/source/arch/x86/entry/calling.h 
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System Call: сохранение и восстановление состояния 
calling.h: * 


.macro PUSH. AND CLEAR. REGS ... .macro POP_REGS ... 
pushq %rsi popq %rdx 
pushq %rdi popq %rdi 
pushq %rdx popq %rsi 


Б https://elixir.bootlin.com/linux/latest/source/arch/x86/enti y/calling.h ;apryMeur \rdx развернут в %гах для удобства чтения 
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System Call: сохранение и восстановление состояния 
calling.h: * 


.macro PUSH. AND CLEAR. REGS ... .macro POP_REGS ... 
pushq %rsi popq %r15 
pushq %rdi popq %r14 
pushq %rdx popq %r13 
pushq %r13 popq %rdx 
pushq %r14 popq %rdi 
pushq %r15 popq %rsi 


i https://elixir.bootlin.com/linux/latest/source/arch/x86/enti y/calling.h ;apryMeur \rdx развернут B %гах для удобства чтения 
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Копирование памяти в ядре 
ө Почему He используется AVX? 
e Будет ли AVX эффективнее rep movsb? 


е Если АУХ быстрее, то можно ли его использовать? 
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Сравнение AVX2 и гер movsb 
System.arraycopy *: 


else if (UseAVX == 2) { 

__ vmovdqu(xmm@, Address(..., -56) 
_ vmovdqu(Address(..., -56), xmm@ 
_ vmovdqu(xmm1, Address(..., -24) 
_ vmovdqu(Address(..., -24), xmm1 


Ы https://hg.openjdk.java.net/jdk/jdk12/file/06222165c35f/src/hotspot/cpu/x86/stubGenerator x86 _64.срр#1263 
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libc-2.27/memcpy *: 


(gdb) disas __memmove_avx_unaligned_erms 


<+81>: 


e Grid Dynamics 


Сравнение AVX2 и rep movsb 
aues 
<+79>: 
У 
<+178>: 


<+185>: 


mov %rdx,%rcx 

rep movsb %ds:(%rsi),%es:(%rdi) 
retq 

cmp $0х1000, %гах 

іа 0x18eafb 
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АКБ и более 


public class Метсру { 
public static native void arrayMemcpy( 
byte src|], int srcOff, 
byte (45%! |, int dstOff, 
int len 


i Сравнение memcpy и System.arraycopy: Java memcpy 
Y 
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Сравнение memcpy и System.arraycopy: Java memcpy 


JNIEXPORT void JNICALL Java.com. company. Memcpy. arrayMemcpy( ...) { 
} 


JNIEXPORT void JNICALL JavaCritical.com company Мепсру. arrayMemcpy( ...) { 
memcpy((char *) dst + dst off, 
(char *) src + src_off, 
(size_t) len); 
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Сравнение memcpy и System.arraycopy 


GParam(("8192", "131072", 
public int size; 
public byte <$гс[], dst[]; 


@Benchmark 
public void arraycopy() { 


78388688", 


“16777216”, 


System.arraycopy(src, 0, dst, 0, size); 


} 


@Benchmark 
public void memcpy() { 


Memcpy.arrayMemcpy(src, 0, dst, 0, size); 


} 


® Grid Dynamics 
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“33554432” }) 


136 


Сравнение тетсру и System.arraycopy 


тетсру, 5 System.arraycopy, [$ 
8 КВ 0.172 0.132 
128 КВ 3.439 4.171 
8 МВ 542.921 959.101 
16 МВ 1393.21; 2209.657 
32 MB 3128.653 4702.299 
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Сравнение тетсру и System.arraycopy 


memcpy, US System.arraycopy, US 
8 KB 0.172 0.132 
128 KB 3.439 4.171 
8 MB 542.921 959.101 
16 MB 1393.213 2209.657 


32 MB 3128.653 4702.299 


60-90 % 
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(gdb) disas . memmove. avx unaligned erms 
<+43>: cmp 0x261b76(%rip) , %rdx 
<+560>: jae 0x18ec2d 


«9770»: | vmovntdq %утт0, (%га1) 

«9774»: | vmovntdq бутті, 90х20 (%гат) 
«9779»: | vmovntdq %утт2 , 0х40(%га1) 
<+784>: vmovntdq %утт3, 90х68 (%га1 ) 


Non-Temporal Stores 
Y 


<+805>: sfence 


139 
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Non-Temporal Stores: x86 non-temporal threshold 


2” р --х86 shared. поп temporal threshold 
- 6291356 
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<+43>: стр 0х261р76(%гір),%гах 
<%50>: jae Өх18ес2а 


<%770>: %утт0, (%rdi ) 

<+774>: %утт1 , 0x20 (%rdi ) 
<+779>: %утт2 , 0x40 ("ordi ) 
<+/84>: 


Non-Temporal Stores 
(gdb) disas . теттоме avx unaligned erms 
Y 


<+805>: 
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Non-Temporal Stores: свойства 
Intel Software Optimization Manual/8.4.1: 


Write combining — Successive writes to the same cache line are combined 
Write collapsing — Successive writes to the same bytes(s) result in only the last 
write being visible 

e Weakly ordered — No ordering is preserved between WC stores or between WC 
stores and other loads or stores 

e Uncacheable and not write-allocating — Stored data is written around the cache 
and will not generate a read-for-ownership bus request for the corresponding 
cache line 
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Write Back память: regular stores 


Regular-3anucb — 
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L1 Data Cache 


Write Back память: regular stores 


Regular-3anucb — 
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L1 Data Cache 
MESI: Exclusive/Modified 


144 


Regular-3anucb — | 1 Data Cache 


Write Back память: regular stores 
Y 


Read For Ownership 


L2/LLC 


| 


Метогу 
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Write-Combining Buffer 


Расположен B СРО-ядре 


e Grid Dynamics 
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L1 Data Cache 


Read For Ownership 


L2/LLC 


| 


Метогу 
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Libc memcpy: техника копирования 


e 4KB no 6 MB e Более 6MB 


rep movsb Non-Temporal stores 
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Non-temporal stores: перфоманс копирования 


Нет ЕҒО-трафика 


Перфоманс копирования 
больших данных 
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Копирование памяти в ядре 
ө Почему не используется AVX? 
e Будетли AVX эффективнее гер movsb? 


ө Если АУХ быстрее, то можно ли его использовать? 
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Чтение из файла: Non-Temporal stores + ттар 
Фаил —— ттар() 
Y 


| 


МТ-копирование 
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ттар: библиотека опе-піо 


String FILE NAME; 
long mappedRegionSize; 


one.nio.mem.MappedFile mf - new one.nio.mem.MappedFile( 
FILE. МАМЕ, 
mappedRegionSize, 
one.nio.mem.MappedFile.MAP RO 

s 


mf.close(); 
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String FILE NAME; 
long mappedRegionSize; 


one.nio.mem.MappedFile mf - new one.nio.mem.MappedFile( 
FILE NAME, 
mappedRegionSize, 


mmap: библиотека one-nio 
Y 


one.nio.mem.MappedFile.MAP RO 


mf.close(); 
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ттар: библиотека опе-піо 


String FILE NAME; 
long mappedRegionSize; 


one.nio.mem.MappedFile mf - new one.nio.mem.MappedFile( 
FILE. NAME, 
mappedRegionSize, 
one.nio.mem.MappedFile.MAP RO 

s 


mf.close(); 
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Non-Temporal Stores + ттар: перфоманс 


ө горячий раде сасһе 
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ө горячий page cache Без учета mmap/munmap 


ттар-МТ, sec criticalRead, sec 


Non-Temporal Stores + mmap: перфоманс 
5.56В 0.72 0.72 
Y 
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Non-Temporal Stores + ттар: перфоманс 


ө горячий page cache Без учета mmap/munmap 


mmap-*NT, sec 
5.5GB 0.72 


Сучетом ттар/типтар 


mmap-*NT, sec 
5.5GB 0.82 
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criticalRead, sec 
0.72 


criticalRead, sec 
0.72 
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Non-Temporal Stores + ттар: анализ 


$ sudo perf record --call-graph dwarf -F 9123 -p «app. pid» 


- 29,50% | memmove avx unaligned erms 
- 22,56% page fault 
- 22,51% do page fault 
+ 22,46% ао page fault 


+ 3,84% swapgs restore regs and return to usermode 


+ 1,79% error entry 
2,64% page fault 
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@ Grid Dynamics 


Page Fault 


Обращение к памяти 


e Grid Dynamics 


«Ғ------- 
-------» 


TLB/Page Table 


Выделение физической памяти 
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Page Fault 


Трансляция виртуального адреса Ha физический 


Обращение к памяти <= TLB/Page Table 


Выделение физической памяти 
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Page Fault 


Обращение к памяти 


e Grid Dynamics 


Minor Page Fault 


TLB/Page Table 


Выделение физической памяти 
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Non-Temporal Stores + ттар: перфоманс 


ө горячий раде сасһе Без учета ттар/типтар 
ттар-МТ, sec criticalRead, sec 
5.56В 0.72 0.72 


Сучетом ттар/типтар 


mmap+NT, sec criticalRead, sec 
5.5GB 0.82 0.72 


Без учета Page Fault 


mmap-NT, sec criticalRead, sec 
5.5GB 0.51 0.72 
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Non-Temporal Stores + ттар: резюме 
Page Fault Cache Miss 
X 


Не подходит для чтения 
фаила 
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Non-Temporal Stores: резюме 


— 
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Уменьшение 
загрязнения кэшей 


Идеальный выбор 
для стриминга 


163 


Оптимизация производительности: резюме 


ө Определение изменившихся файлов ^ 


e Определение предыдущей позиции стриминга “ 
ө “тение новых данных ^ 


e Non-Temporal-crpaMuHr обработанных данных ^ 
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Итоговая схема система стриминга 


Мониторинг 
я+— inotify 
Локальный диск <+— fstat 
— — ЈМ Critical 
Чтение 
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Получение новых данных 


Обработка 


' 


Non-Temporal Store 


Буфер Ha стриминг 


165 


Итоги 


“Экономия на инфраструктуре до 40% 
" Авто-скейлинг 
"Уменьшены затраты на стриминг 
— Исключены накладные расходы на 1/0 


— Оптимизировано использование кэша 
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Заключение 
Повышение производительности за счет: 


-> Выхода за границы абстракций JDK 
-> Использования возможностей железа и 0/5 


Э Обхода особенностей JVM 
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& Grid Dynamics 


Q&A 


& Grid Dynamics 


Thank you! 


www.griddynamics.com 


